期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

Owing to the widespread adoption of the Internet of Things, a vast amount of sensor information is being acquired in real time. Accordingly, the communication cost of data from edge devices is increasing. Compressed sensing (CS), a data compression method that can be used on edge devices, has been attracting attention as a method to reduce communication costs. In CS, estimating the appropriate compression ratio is important. There is a method to adaptively estimate the compression ratio for the acquired data using reinforcement learning. However, the computational costs associated with existing reinforcement learning methods that can be utilized on edges are expensive. In this study, we developed an efficient reinforcement learning method for edge devices, referred to as the actor--critic online sequential extreme learning machine (AC-OSELM), and a system to compress data by estimating an appropriate compression ratio on the edge using AC-OSELM. The performance of the proposed method in estimating the compression ratio is evaluated by comparing it with other reinforcement learning methods for edge devices. The experimental results show that AC-OSELM achieved the same or better compression performance and faster compression ratio estimation than the existing methods.

Removing reverb from reverberant music is a necessary technique to clean up audio for downstream music manipulations. Reverberation of music contains two categories, natural reverb, and artificial reverb. Artificial reverb has a wider diversity than natural reverb due to its various parameter setups and reverberation types. However, recent supervised dereverberation methods may fail because they rely on sufficiently diverse and numerous pairs of reverberant observations and retrieved data for training in order to be generalizable to unseen observations during inference. To resolve these problems, we propose an unsupervised method that can remove a general kind of artificial reverb for music without requiring pairs of data for training. The proposed method is based on diffusion models, where it initializes the unknown reverberation operator with a conventional signal processing technique and simultaneously refines the estimate with the help of diffusion models. We show through objective and perceptual evaluations that our method outperforms the current leading vocal dereverberation benchmarks.

Score-based generative models learn a family of noise-conditional score functions corresponding to the data density perturbed with increasingly large amounts of noise. These perturbed data densities are tied together by the Fokker-Planck equation (FPE), a PDE governing the spatial-temporal evolution of a density undergoing a diffusion process. In this work, we derive a corresponding equation characterizing the noise-conditional scores of the perturbed data densities (i.e., their gradients), termed the score FPE. Surprisingly, despite impressive empirical performance, we observe that scores learned via denoising score matching (DSM) do not satisfy the underlying score FPE. We mathematically analyze three implications of satisfying the score FPE and a potential explanation for why the score FPE is not satisfied in practice. At last, we propose to regularize the DSM objective to enforce satisfaction of the score FPE, and show its effectiveness on synthetic data and MNIST.

了解用户的意图并从句子中识别出语义实体，即自然语言理解（NLU），是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的注释数据来培训模型。现有有关文本增强的研究并没有充分考虑实体，因此对于NLU任务的表现不佳。为了解决这个问题，我们提出了一种新型的NLP数据增强技术，实体意识数据增强（EADA），该技术应用了树结构，实体意识到语法树（EAST），以表示句子与对实体的注意相结合。我们的EADA技术会自动从少量注释的数据中构造东方，然后生成大量的培训实例，以进行意图检测和插槽填充。四个数据集的实验结果表明，该技术在准确性和泛化能力方面显着优于现有数据增强方法。

虽然减少方差方法在解决大规模优化问题方面取得了巨大成功，但其中许多人遭受了累积错误，因此应定期需要进行完整的梯度计算。在本文中，我们提出了一种用于有限的和非convex优化的单环算法（梯度估计器的单环方法），该算法不需要定期刷新梯度估计器，但实现了几乎最佳的梯度复杂性。与现有方法不同，雪橇具有多功能性的优势。 （i）二阶最优性，（ii）PL区域中的指数收敛性，以及（iii）在较小的数据异质性下较小的复杂性。我们通过利用这些有利的特性来构建有效的联合学习算法。我们展示了输出的一阶和二阶最优性，并在PL条件下提供分析。当本地预算足够大，并且客户少（Hessian-）〜异质时，该算法需要较少的通信回合，而不是现有方法，例如FedAvg，脚手架和Mime。我们方法的优势在数值实验中得到了验证。

我们为基于语义信息（称为ConceptBeam的语义信息）提出了一个新颖的框架。目标语音提取意味着在混合物中提取目标扬声器的语音。典型的方法一直在利用音频信号的性能，例如谐波结构和到达方向。相反，ConceptBeam通过语义线索解决了问题。具体来说，我们使用概念规范（例如图像或语音）提取说话者谈论概念的演讲，即感兴趣的主题。解决这个新颖的问题将为对话中讨论的特定主题等创新应用打开门。与关键字不同，概念是抽象的概念，使直接代表目标概念的挑战。在我们的方案中，通过将概念规范映射到共享的嵌入空间，将概念编码为语义嵌入。可以使用由图像及其口语字幕组成的配对数据进行深度度量学习来构建这种独立的空间。我们使用它来桥接模式依赖性信息，即混合物中的语音段以及指定的，无模式的概念。作为我们方案的证明，我们使用与口语标题相关的一组图像进行了实验。也就是说，我们从这些口语字幕中产生了语音混合物，并将图像或语音信号用作概念指定符。然后，我们使用已识别段的声学特征提取目标语音。我们将ConceptBeam与两种方法进行比较：一种基于从识别系统获得的关键字，另一个基于声音源分离。我们表明，概念束明显优于基线方法，并根据语义表示有效提取语音。

公共网站上可用的音频数据量正在迅速增长，并且需要有效访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，该方法可以通过引入辅助文本信息来检索与查询音频相似但略有不同的目标音频，该信息描述了查询和目标音频之间的差异。虽然传统基于内容的音频检索的范围仅限于与查询音频相似的音频，但提出的方法可以通过添加辅助文本查询模型的嵌入来调整检索范围，以嵌入查询示例音频中的嵌入共享的潜在空间。为了评估我们的方法，我们构建了一个数据集，其中包括两个不同的音频剪辑以及描述差异的文本。实验结果表明，所提出的方法比基线更准确地检索配对的音频。我们还基于可视化确认了所提出的方法获得了共享的潜在空间，在该空间中，音频差和相应的文本表示为相似的嵌入向量。

图形卷积是一种最近可扩展的方法，用于通过在多个层上汇总本地节点信息来对属性图进行深度特征学习。这样的层仅考虑向前模型中节点邻居的属性信息，并且不将全球网络结构的知识纳入学习任务。特别是，模块化功能提供了有关网络社区结构的方便信息。在这项工作中，我们通过将网络的社区结构保存目标纳入图卷积模型中，调查了对学习表示的质量的影响。我们通过在输出层中的成本函数中的明确正规化项和通过辅助层计算的附加损失项中通过两种方式结合目标。我们报告了在图形卷积体系结构中保存术语的社区结构的效果。对两个归因的分布图网络进行的实验评估表明，社区保护目标的合并提高了稀疏标签制度中的半监督节点分类精度。

人的大脑在观察一段时间后可以识别隐藏在严重退化的图像中的物体，这被称为尤里卡效应，可能与人类的创造力有关。先前的心理学研究表明，这种“尤里卡识别”的基础是多个随机活性重合的神经过程。在这里，我们构建了一个基于人造的神经网络模型，该模型模拟了人类尤里卡识别的特征。